Sumideros de atención: dos mecanismos, dos soluciones
Los sumideros de atención no son iguales: descubre si son NOP o broadcast. Aprende a diagnosticarlos y a aplicar gating o registers.
#mecanismo broadcast
Sumideros de atención: dos mecanismos, dos soluciones
Descubre cómo los sumideros de atención en transformers esconden dos mecanismos distintos: nop y broadcast. Aprende a diagnosticarlos y combinarlos para mejorar estabilidad y rendimiento.